产品经理的用研手册08 - 用研四式之「切」

今天我们来介绍用户研究「望闻问切」第四式，也是最好玩的招式：做试验。

如果说用户研究的目的无非是解答疑惑、辅助决策，那么是不是也可以跳出「假设-验证-判断」的循环，直接测试用户的反应和行为，直接获得判断？

答案是肯定的。

做试验的目的，是用较低的成本去测试想法的可行性和接受度，以及从中发现可能会遇到的问题。

人心难测。互联网变化如此之快，有时候我们可以通过逻辑和分析得出结论，但是更多时候需要把手伸到水中一探深浅。前面花了那么多时间望、闻、问，这回可以来真的了。

测试态度和概念

当我们有一些新的想法，尤其是一些比较具体的点子，不知道用户会如何看待，想在开始做之前快速收集一些想法。这时候除了去找用户聊，还可以直接在产品或者用户论坛中拟造一些信息，吸引用户的注意，获取他们的反馈。

第一招，以假乱真的泄露版。

2004 年愚人节，Google 对外发布了拥有 1GB 存储空间的免费邮箱 Gmail，被大家当做笑话，也引发了无数讨论。到了第二天，大家才发现只是来真的，Gmail 一炮而红。

第二招，先建城门后建城。

功能太复杂来不及开发？但是又想提前收集反馈？没问题，入口先摆出来。但是注意不要玩火自焚，承诺最终还是要以某种方式兑现的。

比如 2015年火起来的计步 App Walk up ，记录每天的步数，然后可以在虚拟的世界地图内前进，抵达不同的城市。因为挤牙膏般的开发进度，不得不先放出入口，再慢慢开发。这个过程中可以收集大量的反馈。

测试新版本的使用体验

每当产品有较大改动时，产品经理都免不了神经紧绷：如果上线后效果不好怎么办？如果骂声一片怎么办？

那么就尽早做用户测试，尽早反馈。

这里所说的测试，跟前面介绍过的可用性测试基本类似，只是不必等到开发完成才开始找用户测试，而是在概念阶段、设计阶段、开发阶段，就可以用一些「假」的原型或者半成品给用户试用，只要能够让用户明白这只是初步一些想法，希望了解他对这些想法的意见。

在设计开发阶段，还不需要完整、严谨的测试，只需要快速了解用户意见、找到明显问题的「迷你测试」：

测试不同方案的真实效果

在产品设计开发过程中，总是有各种各样的纠结，特别是两个方案摆在一起，不相伯仲，改选哪一个？说到这里，A/B test 终于要出场了。

大家对 A/B test 的直观印象是：有 A、B 两个方案，分别放在线上，测试看哪个效果好，最终就采用哪个。

每当有重要页面的修改和流程上的优化，通过灰度发布到 1% 或者 5% 的用户，看实际数据的变化（访问时间增加、留存提高、下单率提高等），决定此修改到底是 100% 发布还是被砍掉。听起来简直是完美的解决方案，对不？

但是事情远没有这么简单。A/B test 的本质，是受控的对照组科学实验。通过严谨的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的实验结论，并确信该结论推广到全体样本仍然可信。

什么是「可控」？变量是定义清晰、完全受人为控的。

假设有一个因变量 Y（比如购物车结算率），它的变化会受到 A、B、C、D、E、F、G 等 7 个自变量的影响（如何确定只有这些影响因素？），且这种影响无法通过确定的函数来表示。我们现在设计了两个方案，想提高 Y，怎么通过实验验证哪个方案更有效呢？可以接受的做法是，进行若干组试验，让 A 的值变化，而其他自变量全部不变，若 Y 也产生变化，说明 A 的改变起到了效果。

但是如果现在有两个方案，一个改动了 A、C、D，一个改动了 B、D、G，就无法证明是哪些因素影响了 Y 的变化，也就无法判断到底哪个方案更优。

A/B test，难就难在识别所有自变量，并且控制单一自变量的变化。数据不全、脏数据、随机事件、建模人为因素等等影响，都会影响 A/B test 的结果。要解决这个问题，对采样、聚类、流量分割等要求非常的高，而且要检验统计结果的有效性。

所以在现实应用中，A/B test 多用于测试界面元素/控件变化对结果的影响，因为这些因素容易分离和控制。大部分实验只能带来个位数百分比的改进，或者甚至是分数百分比。

A/B test 是好东西，但是要真正用好，需要特别注意实验设计和数据统计：

测试不是万能

不论是用户测试还是 A/B test，都无法完全反应客观现实。即便通过 A/B test 提升了某个按钮的点击率，但是它依然不能解决产品的深层次问题。通过测试，我们也许可以知道哪个方案更受欢迎，但却无法解释反常识的结果。测试只能让我们「知其然」，想要「知其所以然」，还是需要配合其他的招式，用心解读。

那么，什么时候该「问」，什么时候该「切」？

如果重在探究背景和原因，用「问」；如果需要快速测试行动结果，用「切」。当然，另外一个重要的考量因素是执行的成本，面对面调研要花费较多的时间获取和分析数据，灰度试验需要把多个方案都实现出来，选择哪一种，投入产出比会更高？最终还是要靠经验去做成判断。

产品经理的用户用研四式「望闻问切」就介绍完了。

下一篇探讨用户研究与精益方法的关系。

欢迎加入「你丫全栈」微信讨论群。入群方法：添加 artncode 为好友（注明：全栈），稍后会拉你入群。

如需转载本文，请联系 [e-mail]

产品经理的用研手册系列

   01 - 朦胧的用户，懵懂的你

   02 - 你真的懂用户吗？

   03 - 成也需求，败也需求

   04 - 做问题求解者，先对症后下药

   05 - 用研四式之「望」

   06 - 用研四式之「闻」

   07 - 用研四式之「问」

   08 - 用研四式之「切」

   09 - 精益的本质：一切皆假设

   10 - 沟通的秘密武器

↓ 系列文章请点阅读原文